学习了从一个只含有一层的mnist的网络,怎么使得其训练的准确率得到提高:
基础的构建是输入为784个节点,输出为10个节点,准确率为0.92
方式1.
添加隐层,其中注意的是,隐藏的添加,要根据小于784的节点来设置(700,600,500,400,300,350)其中隐层节点为400的时候,其准确率为0.758。
其中最需要注意的是,前向传播结构第二层为隐藏层输出y1与参数w2 矩阵相乘加上偏置,得到输出y。由于输出y要经过softmax函数,固就不需要激活。但前面一层输出的结果一定要需要激活。
方式2.
再加了隐层的基础上,把原来数据初始化的方式进行相应的改变,从zeros()改为random_normal()生成正态随机数的方式,其准确率变为0.9467
<